DecQ: Detail-Condensing Queries for Enhanced Reconstruction and Generation in Representation Autoencoders
DecQ：细节压缩查询增强表示自编码器的重建与生成
🧭 视觉表示自编码器 · 细节压缩查询
Zhejiang University · Shanghai Innovation Institute · Fudan University · Westlake University · JD.COM
引入轻量细节压缩查询，从冻结视觉基础模型中间层提取细粒度信息，显著提升重建PSNR与生成FID，收敛加速3.3倍
📌 工作参考价值（4 点）
- 推荐系统使用冻结预训练模型作为编码器时，可插入类似detail-condensing queries的可学习模块，从中间层提取细节，既保持语义空间稳定又缓解细节丢失，仅增加极低计算开销。
- 生成式推荐中的tokenizer（如Semantic ID的VAE）常面临重建质量与生成保真度的权衡，参考DecQ在解码侧加入轻量细节查询，可同时提升重建精度和下游生成质量。
- 方法收敛速度3.3倍提升，适合工业界快速迭代实验，尤其在大规模商品图像或内容表征学习场景。
- 对待不同层级特征的聚合方式（浅层细节+深层语义）可迁移至多模态推荐模型的特征融合，增强商品细节理解能力。